We study the fundamental question of how to define and measure the distance from calibration for probabilistic predictors. While the notion of perfect calibration is well-understood, there is no consensus on how to quantify the distance from perfect calibration. Numerous calibration measures have been proposed in the literature, but it is unclear how they compare to each other, and many popular measures such as Expected Calibration Error (ECE) fail to satisfy basic properties like continuity. We present a rigorous framework for analyzing calibration measures, inspired by the literature on property testing. We propose a ground-truth notion of distance from calibration: the $\ell_1$ distance to the nearest perfectly calibrated predictor. We define a consistent calibration measure as one that is a polynomial factor approximation to the this distance. Applying our framework, we identify three calibration measures that are consistent and can be estimated efficiently: smooth calibration, interval calibration, and Laplace kernel calibration. The former two give quadratic approximations to the ground truth distance, which we show is information-theoretically optimal. Our work thus establishes fundamental lower and upper bounds on measuring distance to calibration, and also provides theoretical justification for preferring certain metrics (like Laplace kernel calibration) in practice.

过度参数化的神经网络的实际成功促进了最近对插值方法的科学研究，这些研究非常适合其训练数据。如果没有灾难性的测试表现，包括神经网络在内的某些插值方法（包括神经网络）可以符合嘈杂的训练数据，这是违反统计学习理论的标准直觉的。为了解释这一点，最近的一系列工作研究了$ \ textit {良性过拟合} $，这是一种现象，其中一些插值方法即使在存在噪音的情况下也接近了贝叶斯的最佳性。在这项工作中，我们认为，虽然良性过度拟合既具有启发性和富有成效的研究在测试时间的风险，这意味着这些模型既不是良性也不是灾难性的，而是属于中间状态。我们称此中级制度$ \ textit {perked forporting} $，我们启动其系统研究。我们首先在内核（Ridge）回归（KR）的背景下探索这种现象，通过在脊参数和核特征光谱上获得条件，KR在这些条件下表现出三种行为。我们发现，具有PowerLaw光谱的内核，包括Laplace内核和Relu神经切线内核，表现出了过度拟合的。然后，我们通过分类法的镜头从经验上研究深度神经网络，并发现接受插值训练的人是脾气暴躁的，而那些训练的人则是良性的。我们希望我们的工作能够使人们对现代学习过度拟合的过度理解。

``神经切线内核'（NTK）（Jacot等人，2018年）及其经验变体被提议作为捕获真实神经网络某些行为的代理。在这项工作中，我们通过缩放定律的镜头研究NTK，并证明它们无法解释神经网络概括的重要方面。特别是，我们证明了现实的设置，其中有限宽度的神经网络具有与初始化时相应的经验和无限NTK相比，具有更好的数据缩放指数。这揭示了真实网络和NTK之间的更根本差异，仅仅是几个百分点的测试准确性。此外，我们表明，即使允许经验NTK在恒定数量的样本上进行预训练，也不会赶上神经网络缩放。最后，我们表明，经验NTK在整个培训的大部分培训中都在不断发展，与先前的工作相反，这表明它在经过几个时代的培训后稳定。总的来说，我们的工作确立了NTK方法在理解自然数据集对真实网络的概括方面的具体限制。

在机器学习中，我们传统上评估单个模型的性能，平均在测试输入集合中进行平均。在这项工作中，我们提出了一种新方法：在$ \ textit {单个输入点} $上评估时，我们测量了模型集合的性能。具体来说，我们研究了一个点的$ \ textit {profile {profile} $：模型在测试分布上的平均性能与他们在该点上的角度表现之间的关系。我们发现配置文件可以在分布和分发的模型和数据的结构中产生新的见解。例如，我们从经验上表明，实际数据分布由具有质量不同的点组成。一方面，有“兼容”点，在角度和平均性能之间具有很强的相关性。另一方面，有些点具有弱甚至$ \ textit {nogate} $相关性：提高整体模型精度实际上$ \ textit {hurts} $性能的情况。我们证明，这些实验观察与先前工作中提出的几种简化学习模型的预测不一致。作为一个应用程序，我们使用配置文件来构造一个数据集，我们称为CIFAR-10-NENG：CINIC-10的子集，因此对于标准模型，CIFAR-10-NENG上的准确性为$ \ textit {negalissiper {negalissiperational {negalishatied} CIFAR-10测试。这首先说明了一个完全逆转“准确性”的OOD数据集（Miller，Taori，Raghunathan，Sagawa，Koh，Koh，Shankar，Liang，Carmon和Schmidt 2021）

对于给定的分发，学习算法和性能度量，收敛速度（或数据缩放法）是算法测试性能的渐近行为作为列车样本数量的函数。理论和实践中的许多学习方法都有幂律速率，即绩效尺度为$ n ^ { - \ alpha} $ for for some $ \ alpha> 0 $。此外，科学人员和从业者都关注在感兴趣的环境中提高他们的学习算法的速率。我们观察到“普遍学习者”的存在，这在指定的运行时（例如$ O（n ^ 2）$）中的所有学习算法中获得了最佳分布依赖性渐近率（例如，o（n ^ 2）），而在此运行时仅导致积极转移减速。该算法是均匀的，并且不依赖于分布，但实现所有分布的最佳速率。建筑本身是莱文普遍搜索的简单延伸（Levin，1973）。并且与普遍搜索一样，通用学习者并不实用，主要是理论和哲学兴趣。

We show that a variety of modern deep learning tasks exhibit a "double-descent" phenomenon where, as we increase model size, performance first gets worse and then gets better. Moreover, we show that double descent occurs not just as a function of model size, but also as a function of the number of training epochs. We unify the above phenomena by defining a new complexity measure we call the effective model complexity and conjecture a generalized double descent with respect to this measure. Furthermore, our notion of model complexity allows us to identify certain regimes where increasing (even quadrupling) the number of train samples actually hurts test performance. * Work performed in part while Preetum Nakkiran was interning at OpenAI, with Ilya Sutskever. We especially thank Mikhail Belkin and Christopher Olah for helpful discussions throughout this work.